Tài liệu đầu tiên được biết đến của dấu gạch nối là trong các tác phẩm viết về ngữ pháp của Dionysius Thrax. Trong tiếng Hy Lạp, các dấu này được gọi là enotikon, và được Latinh hóa một cách chính thức như một dấu gạch nối.

Từ hyphen (dấu gạch nối trong tiếng Anh) có nguồn gốc từ tiếng Hy Lạp cổ đại[1] ὑφ᾽ ἕν (hyph 'hén), rút ngắn từ ὑπό ἕν (hypó hén), có nghĩa là "trong một" (nghĩa đen là "dưới một").[2][3] Từ (ἡ) ὑφέν ((he) hyphén) đã được sử dụng cho một dấu hiệu giống như (‿) được viết bên dưới hai chữ cái liên tiếp để chỉ ra rằng chúng thuộc cùng một từ khi cần thiết để tránh hiểu sai, không rõ ràng, trước khi khoảng trắng được sử dụng thường xuyên.

Với sự ra đời của khoảng trắng (hay khoảng cách, dấu cách) trong chữ từ thời Trung Cổ, dấu gạch nối vẫn được viết bên dưới văn bản, gần giống dấu gạch dưới ngày nay, nhưng đảo ngược ý nghĩa của nó. Scribes đã sử dụng dấu gạch nối để kết nối hai từ được phân tách không chính xác bởi một khoảng trắng. Thời đại này cũng chứng kiến sự ra đời của dấu gạch ngang, cho các từ dài bị ngắt giữa chừng bởi các dòng.[4]

Định dạng hiện đại của dấu gạch nối có nguồn gốc từ Johannes Gutenberg ở Mainz, Đức, k. 1455 với việc xuất bản một cuốn Kinh thánh dài 42 dòng của ông.[5]